Nicholson sinh ngày 22 tháng 4 năm 1937 tại bệnh viện Jersey Shore Medical Center ở thành phố Neptune, tiểu bang New Jersey, mẹ ông, June Frances Nicholson, làm nghề ca múa (showgirl) với nghệ danh June Nilson[1]. 6 tháng trước đó, cô June đã cưới một ông bầu gốc Ý tên là Donald Furcillo (nghệ danh Donald Rose) tại Elkton, Maryland[2]. Tuy nhiên Furcillo là một người đã lập gia đình, và mặc dù ông này vẫn đề nghị được nuôi Jack, mẹ của cô June là bà Ethel đã quyết định sẽ nuôi dưỡng cháu mình để June có thể tiếp tục làm việc. Thực tế thì tuy Donald Furcillo tuyên bố mình là bố của Nicholson nhưng theo nhà viết tiểu sử Patrick McGilligan, người đã viết cuốn Jack's Life (Cuộc đời của Jack) thì rất có thể bố của Nicholson lại là Eddie King, người quản lý của mẹ ông, hơn nữa thì có thể chính cô June [3] cũng không chắc về việc ai là cha của con trai mình. Nicholson đã từ chối thử ADN để xác định vấn đề này.

Nicholson lớn lên mà vẫn tin rằng ông bà ngoại John J. Nicholson và Ethel May Rhoads là bố mẹ mình còn cô June là chị gái mình. Mãi đến năm 1974, một nhà báo của tạp chí TIME trong khi viết bài về Jack Nicholson mới tiết lộ cho ông sự thật về bố mẹ (thực chất là ông bà ngoại) và chị gái (thực chất là mẹ đẻ) của Jack[4]. Khi đó thì cả mẹ và bà ngoại của ông đều đã qua đời, Nicholson, trước đó đã không biết cha mình là ai, nói "Chỉ có Ethel và June biết được người đó và họ đã không nói cho bất kỳ ai"[5].

Nick là tên bạn bè thường gọi Jack Nicholson khi ông học cấp III tại trường Manasquan High School, tại đây năm 1954 cậu được cả lớp bầu là "class clown" (dịch nghĩa: Chú hề của lớp). Sau này một rạp hát và một giải thưởng kịch ở trường đã được mang tên ông[6]. Năm 2004, bạn học của Jack đã rất ngạc nhiên và vui mừng khi Nicholson đã quay về tham dự lễ kỷ niệm 50 năm ngày khóa học của ông ra trường.